WebRTC adaptyvus bitų srauto perdavimas „frontend“ dalyje: išsami kokybės reguliavimo algoritmų analizė

WebRTC (Web Real-Time Communication) sukėlė revoliuciją realaus laiko komunikacijoje, suteikdama galimybę sklandžiai perduoti garso ir vaizdo srautus tiesiogiai naršyklėse. Svarbus aspektas, užtikrinantis aukštos kokybės vartotojo patirtį su WebRTC, ypač esant svyruojančioms tinklo sąlygoms, yra adaptyvus bitų srauto (ABR) perdavimas. Šiame tinklaraščio įraše gilinamasi į algoritmus, kurie valdo ABR WebRTC programų „frontend“ dalyje, ir pateikiamas išsamus supratimas, kaip dinamiškai reguliuojama vaizdo kokybė, siekiant optimizuoti vartotojo žiūrėjimo patirtį.

Kas yra adaptyvus bitų srauto (ABR) perdavimas?

ABR perdavimas yra technika, naudojama vaizdo turiniui transliuoti per tinklą taip, kad vaizdo kokybė būtų dinamiškai koreguojama atsižvelgiant į turimą pralaidumą ir kitas tinklo sąlygas. Užuot transliavus vieną vaizdo įrašą fiksuotu bitų srautu, vaizdo įrašas yra koduojamas keliais bitų srautais (ir skiriamosiomis gebomis), sukuriant kelias skirtingas to paties vaizdo įrašo versijas. Klientas (šiuo atveju – „frontend“ WebRTC programa) pasirenka tinkamiausią versiją atkūrimui, remdamasis esamomis tinklo sąlygomis.

ABR tikslas – užtikrinti sklandžią, nepertraukiamą žiūrėjimo patirtį. Kai tinklo pralaidumas yra didelis, klientas gali pasirinkti aukšto bitų srauto vaizdo versiją, kas užtikrina aukštą žiūrėjimo kokybę. Kai pralaidumas yra mažas, klientas gali persijungti į žemesnio bitų srauto versiją, taip išvengdamas buferizacijos ir palaikydamas nenutrūkstamą srautą.

Kodėl ABR yra svarbus WebRTC?

WebRTC programos dažnai veikia nenuspėjamose tinklo aplinkose. Vartotojai gali būti prisijungę prie Wi-Fi tinklų, kurių stiprumas svyruoja, arba mobiliųjų tinklų su kintančiu apkrovos lygiu. Be ABR, WebRTC programa turėtų arba transliuoti vaizdą mažu bitų srautu, kad prisitaikytų prie blogiausio scenarijaus (dėl ko vartotojai su geru ryšiu gautų prastą kokybę), arba rizikuoti dažnu buferizavimu ir pertraukimais vartotojams su ribotu pralaidumu.

ABR išsprendžia šią problemą dinamiškai prisitaikydama prie turimo pralaidumo. Tai leidžia WebRTC programoms pateikti geriausią įmanomą vaizdo kokybę kiekvienam vartotojui, nepriklausomai nuo jo tinklo sąlygų. Tai ypač svarbu diegiant sistemas pasauliniu mastu, kur tinklo infrastruktūra ir interneto greitis labai skiriasi.

„Frontend“ WebRTC ABR sistemos komponentai

„Frontend“ WebRTC ABR sistemą paprastai sudaro šie komponentai:

• Vaizdo kodavimas: Vaizdo šaltinis turi būti užkoduotas į kelias versijas, kurių kiekviena turi skirtingą bitų srautą ir skiriamąją gebą. Tai paprastai atliekama serverio pusėje, prieš transliuojant vaizdą klientui.
• Manifesto failas: Manifesto failas (pvz., DASH manifestas arba HLS grojaraštis) aprašo galimas vaizdo versijas, jų bitų srautus, skiriamąsias gebas ir vietas. „Frontend“ naudoja šį failą, norėdama nustatyti, kurias versijas galima užklausti.
• Pralaidumo vertinimas: „Frontend“ turi nuolat vertinti turimą tinklo pralaidumą. Šis vertinimas yra labai svarbus priimant pagrįstus sprendimus, kurią vaizdo versiją užklausti.
• Kokybės reguliavimo algoritmas: Šis algoritmas naudoja pralaidumo vertinimą, kad pasirinktų tinkamą vaizdo versiją. Jo tikslas – maksimaliai padidinti vaizdo kokybę ir sumažinti buferizavimą.
• Vaizdo grotuvas: Vaizdo grotuvas yra atsakingas už pasirinktos vaizdo versijos užklausimą ir atkūrimą. Jis taip pat tvarko perjungimą tarp skirtingų versijų, kai keičiasi tinklo sąlygos.

Kokybės reguliavimo algoritmai: „Frontend“ ABR šerdis

Kokybės reguliavimo algoritmas yra „frontend“ ABR sistemos pagrindas. Jis atsakingas už protingų sprendimų priėmimą, kurią vaizdo versiją užklausti, remiantis turimu pralaidumu. Gali būti naudojami keli skirtingi algoritmai, kurių kiekvienas turi savo privalumų ir trūkumų. Čia apžvelgsime keletą populiarių ir efektyvių algoritmų.

1. Buferiu pagrįsti algoritmai

Buferiu pagrįsti algoritmai sutelkia dėmesį į pakankamo vaizdo duomenų buferio palaikymą, siekiant išvengti buferizacijos įvykių. Jie paprastai naudoja buferio lygį kaip pagrindinį sprendimų priėmimo proceso įvesties duomenį.

Pagrindinis buferiu pagrįstas algoritmas:

Tai yra paprasčiausias buferiu pagrįsto algoritmo tipas. Jis veikia taip:

• Jei buferio lygis yra žemiau tam tikros ribos (pvz., 5 sekundės), algoritmas persijungia į žemesnio bitų srauto versiją.
• Jei buferio lygis yra aukščiau kitos ribos (pvz., 10 sekundžių), algoritmas persijungia į aukštesnio bitų srauto versiją.
• Kitu atveju algoritmas palaiko esamą vaizdo versiją.

Pavyzdys:

            
function adjustQuality(bufferLevel, currentBitrate, availableBitrates) {
  const lowBufferThreshold = 5; // Seconds
  const highBufferThreshold = 10; // Seconds

  if (bufferLevel < lowBufferThreshold) {
    // Switch to a lower bitrate
    const lowerBitrates = availableBitrates.filter(bitrate => bitrate < currentBitrate);
    if (lowerBitrates.length > 0) {
      return Math.max(...lowerBitrates); // Select the highest available lower bitrate
    }
  } else if (bufferLevel > highBufferThreshold) {
    // Switch to a higher bitrate
    const higherBitrates = availableBitrates.filter(bitrate => bitrate > currentBitrate);
    if (higherBitrates.length > 0) {
      return Math.min(...higherBitrates); // Select the lowest available higher bitrate
    }
  }

  return currentBitrate; // Maintain the current bitrate
}

            

              
                Copy
              
            
          

Privalumai:

• Paprasta įdiegti.
• Efektyviai apsaugo nuo buferizacijos.

Trūkumai:

• Gali lėtai prisitaikyti prie kintančių tinklo sąlygų.
• Ne visada gali pasirinkti optimalią vaizdo kokybę.

Patobulinimai:

Galima atlikti keletą pagrindinio buferiu pagrįsto algoritmo patobulinimų, pavyzdžiui:

• Naudoti skirtingas ribas perjungimui aukštyn ir žemyn.
• Naudoti slankųjį buferio lygio vidurkį vietoj momentinės vertės.
• Atsižvelgti į laiką, kurio reikia naujam segmentui atsisiųsti.

2. Pralaidumu pagrįsti algoritmai

Pralaidumu pagrįsti algoritmai tiesiogiai naudoja įvertintą tinklo pralaidumą tinkamai vaizdo versijai pasirinkti. Paprastai jie įvertina pralaidumą matuodami laiką, kurio reikia vaizdo segmentams atsisiųsti.

Pagrindinis pralaidumu pagrįstas algoritmas:

Šis algoritmas veikia taip:

• Įvertinkite turimą pralaidumą, išmatavę ankstesnio vaizdo segmento atsisiuntimo laiką.
• Pasirinkite aukščiausio bitų srauto versiją, kuri yra žemiau įvertinto pralaidumo.

Pavyzdys:

            
async function adjustQuality(availableBitrates, segmentDownloadTime, segmentSizeInBytes) {
  // Estimate bandwidth in bits per second
  const bandwidth = (segmentSizeInBytes * 8) / (segmentDownloadTime / 1000);  // Convert ms to seconds

  // Select the highest bitrate below the estimated bandwidth
  let selectedBitrate = availableBitrates[0]; // Default to the lowest bitrate
  for (const bitrate of availableBitrates) {
    if (bitrate <= bandwidth) {
      selectedBitrate = bitrate;
    } else {
        break; // Bitrates array is assumed to be sorted in ascending order
    }
  }

  return selectedBitrate;
}

            

              
                Copy
              
            
          

Privalumai:

• Geriau reaguoja į kintančias tinklo sąlygas nei buferiu pagrįsti algoritmai.
• Gali potencialiai pasiekti aukštesnę vaizdo kokybę.

Trūkumai:

• Sudėtingiau įdiegti.
• Gali būti linkęs į svyravimus, jei pralaidumo įvertinimas yra netikslus (triukšmingas).

Patobulinimai:

Galima atlikti keletą pagrindinio pralaidumu pagrįsto algoritmo patobulinimų, pavyzdžiui:

• Naudoti slankųjį pralaidumo įvertinimo vidurkį svyravimams išlyginti.
• Atsižvelgti į buferio lygį kartu su pralaidumo įvertinimu.
• Įdiegti histerezės mechanizmą, siekiant išvengti dažno perjungimo tarp bitų srautų.

3. Hibridiniai algoritmai

Hibridiniai algoritmai sujungia tiek buferiu, tiek pralaidumu pagrįstų algoritmų privalumus. Jie paprastai naudoja ir buferio lygį, ir pralaidumo įvertinimą kaip įvesties duomenis savo sprendimų priėmimo procese.

Pavyzdys:

Hibridinis algoritmas galėtų veikti taip:

• Jei buferio lygis yra žemas, algoritmas persijungia į žemesnio bitų srauto versiją, neatsižvelgiant į pralaidumo įvertinimą.
• Jei buferio lygis yra aukštas, algoritmas pasirenka aukščiausio bitų srauto versiją, kuri yra žemiau pralaidumo įvertinimo.
• Kitu atveju algoritmas palaiko esamą vaizdo versiją.

Privalumai:

• Gali pasiekti gerą pusiausvyrą tarp vaizdo kokybės ir buferizacijos.
• Atsparesni kintančioms tinklo sąlygoms nei tik buferiu ar tik pralaidumu pagrįsti algoritmai.

Trūkumai:

• Sudėtingiau įdiegti nei buferiu ar pralaidumu pagrįstus algoritmus.
• Reikia kruopštaus parametrų derinimo, kad būtų pasiektas optimalus našumas.

4. Mašininiu mokymusi pagrįsti algoritmai

Pažangesni ABR algoritmai naudoja mašininio mokymosi metodus, siekdami prognozuoti būsimas tinklo sąlygas ir optimizuoti vaizdo kokybę. Šie algoritmai gali mokytis iš ankstesnės tinklo elgsenos ir atitinkamai pritaikyti savo strategijas.

Pavyzdys:

Sustiprinamojo mokymosi (reinforcement learning) pagrįstas ABR algoritmas galėtų būti apmokytas pasirinkti optimalų bitų srautą remiantis atlygio funkcija, kuri atsižvelgia tiek į vaizdo kokybę, tiek į buferizacijos įvykius. Algoritmas laikui bėgant išmoktų, kurie bitų srautai duoda didžiausią atlygį esamomis tinklo sąlygomis.

Privalumai:

• Gali potencialiai pasiekti aukštesnę vaizdo kokybę ir mažesnius buferizacijos rodiklius nei tradiciniai algoritmai.
• Gali prisitaikyti prie kintančių tinklo sąlygų ir vartotojo elgsenos.

Trūkumai:

• Sudėtingiau įdiegti ir apmokyti nei tradicinius algoritmus.
• Reikalingas didelis duomenų kiekis efektyviam apmokymui.

ABR įgyvendinimas „frontend“ dalyje

Yra keletas JavaScript bibliotekų ir karkasų, kurie gali būti naudojami ABR įgyvendinimui WebRTC programos „frontend“ dalyje. Keletas populiarių variantų:

• Hls.js: JavaScript biblioteka, kuri įgyvendina HTTP Live Streaming (HLS) klientą.
• Dash.js: JavaScript biblioteka, kuri įgyvendina Dynamic Adaptive Streaming over HTTP (DASH) klientą.
• Shaka Player: JavaScript biblioteka, palaikanti tiek DASH, tiek HLS.

Šios bibliotekos suteikia API sąsajas manifesto failų įkėlimui, pralaidumo vertinimui ir tinkamos vaizdo versijos pasirinkimui. Jos taip pat tvarko sklandų perjungimą tarp skirtingų vaizdo versijų.

Pavyzdys naudojant Hls.js:

            
if (Hls.isSupported()) {
  var video = document.getElementById('video');
  var hls = new Hls();
  hls.loadSource('your_hls_manifest.m3u8');
  hls.attachMedia(video);
  hls.on(Hls.Events.MANIFEST_PARSED, function() {
    video.play();
  });
} else if (video.canPlayType('application/vnd.apple.mpegurl')) {
  video.src = 'your_hls_manifest.m3u8';
  video.addEventListener('loadedmetadata', function() {
    video.play();
  });
}

            

              
                Copy
              
            
          

Svarstymai diegiant pasauliniu mastu

Diegiant WebRTC ABR programas visame pasaulyje, reikia atsižvelgti į kelis veiksnius:

• Tinklo infrastruktūra: Tinklo infrastruktūra skirtinguose regionuose labai skiriasi. Svarbu pasirinkti ABR algoritmą, kuris būtų atsparus šiems svyravimams.
• Interneto greitis: Interneto greitis taip pat labai skiriasi skirtinguose regionuose. Galimi bitų srautai turėtų būti parinkti taip, kad atitiktų tikslinių regionų interneto greičio diapazoną. Tai gali apimti labai žemo bitų srauto parinkčių siūlymą vartotojams vietovėse su ribotu ryšiu.
• Turinio pristatymo tinklai (CDN): CDN naudojimas gali padėti pagerinti WebRTC ABR programų našumą, talpinant vaizdo turinį arčiau vartotojų. Tai sumažina delsą ir pagerina atsisiuntimo greitį.
• Vartotojo įrenginio galimybės: Skirtingi įrenginiai turi skirtingas apdorojimo galimybes ir ekrano dydžius. Vaizdo kodavimas turėtų būti optimizuotas tiksliniams įrenginiams. Apsvarstykite galimybę pasiūlyti skirtingas skiriamąsias gebas ir kodekus, kad prisitaikytumėte prie įvairių įrenginių, nuo aukščiausios klasės išmaniųjų telefonų iki senesnių nešiojamųjų kompiuterių.
• Duomenų privatumo taisyklės: Atsižvelkite į skirtingus duomenų privatumo reglamentus įvairiuose regionuose. Užtikrinkite, kad ABR sistema nerinktų ir nesaugotų jokių jautrių vartotojo duomenų be sutikimo. Skaidrumas tvarkant duomenis yra labai svarbus.

Geriausios praktikos įgyvendinant „frontend“ WebRTC ABR

Štai keletas geriausių praktikų, kurių reikėtų laikytis įgyvendinant „frontend“ WebRTC ABR:

• Pradėkite nuo paprasto algoritmo: Pradėkite nuo pagrindinio buferiu ar pralaidumu pagrįsto algoritmo ir palaipsniui, jei reikia, didinkite sudėtingumą.
• Stebėkite našumą: Nuolat stebėkite ABR sistemos našumą ir prireikus atlikite pakeitimus. Stebėkite metrikas, tokias kaip buferizacijos dažnis, vidutinis bitų srautas ir paleidimo delsa.
• Naudokite CDN: Naudokite CDN, kad pagerintumėte ABR sistemos našumą.
• Testuokite skirtinguose įrenginiuose ir tinkluose: Kruopščiai išbandykite ABR sistemą įvairiuose įrenginiuose ir tinkluose, kad užtikrintumėte, jog ji gerai veikia visais scenarijais. Tai turėtų apimti testavimą skirtingose operacinėse sistemose („Windows“, „macOS“, „Android“, „iOS“) ir naršyklėse („Chrome“, „Firefox“, „Safari“, „Edge“).
• Atsižvelkite į vartotojų atsiliepimus: Rinkite vartotojų atsiliepimus, kad nustatytumėte tobulintinas sritis.
• Optimizuokite vaizdo kodavimą: Tinkamai optimizuokite vaizdo kodavimą skirtingiems bitų srautams ir skiriamosioms geboms.
• Įdiekite patikimą klaidų tvarkymą: Sklandžiai tvarkykite galimas klaidas, tokias kaip tinklo atsijungimai ar manifesto failo klaidos.
• Apsaugokite savo turinį: Įdiekite tinkamas saugumo priemones, kad apsaugotumėte savo vaizdo turinį nuo neteisėtos prieigos. Tai gali apimti šifravimą ir skaitmeninių teisių valdymą (DRM).

Išvada

Adaptyvus bitų srauto perdavimas yra esminė technologija, užtikrinanti aukštos kokybės vartotojo patirtį WebRTC programose, ypač esant kintančioms tinklo sąlygoms. Dinamiškai koreguodama vaizdo kokybę pagal turimą pralaidumą, ABR užtikrina sklandžią ir nepertraukiamą žiūrėjimo patirtį vartotojams visame pasaulyje. Norint kurti patikimas ir efektyvias WebRTC programas, būtina suprasti skirtingus kokybės reguliavimo algoritmus ir jų kompromisus. Atsižvelgdami į šiame įraše aprašytus iššūkius ir geriausias praktikas, programuotojai gali sukurti ABR sistemas, kurios suteikia optimalią vaizdo kokybę ir sumažina buferizavimą vartotojams įvairiose tinklo aplinkose.

Nuolatinė ABR algoritmų pažanga, ypač integruojant mašininį mokymąsi, žada dar sudėtingesnius ir efektyvesnius būdus optimizuoti vaizdo transliavimą ateityje. Būti informuotiems apie šiuos pokyčius bus labai svarbu, norint teikti geriausią įmanomą realaus laiko komunikacijos patirtį pasaulinei auditorijai.

Tolimesniems tyrimams:

• Oficiali WebRTC svetainė
• Mozilla WebRTC dokumentacija
• Moksliniai straipsniai apie adaptyvaus bitų srauto algoritmus ir patirties kokybę (QoE) vaizdo transliavime.